本发明涉及一种静脉血管深度识别方法和提示系统,以解决现有技术无法进行血管深度判断的问题。本发明从静脉血管图像本身,通过机器视觉学习中的机器学习回归模型,建立图像模态与血管深度之间的映射关系,从而实现基于图像的血管深度自动识别,并以声音与投影的方式提示血管深度信息,使得医务人员在定位血管的同时,还可以明确血管深度,准确掌握入针角度,提高静脉穿刺的成功率,减少患者因静脉穿刺所带来的痛苦。
1.一种静脉血管深度识别方法,其实现步骤包括:1)基于机器学习的回归模型训练:
1.1)构建训练图像集和训练图像深度标记集:利用近红外光照射皮肤,并用摄像机接受反射图像,采集人体不同位置、不同深度的静脉血管图像,构建训练图像集;利用超声仪测量从血管顶部到皮肤表层的厚度,从而得到血管的深度数据值,构建相应的训练图像深度标记集;
1.2)提取感兴趣区域:从上述步骤1.1)构建的训练图像集中的每幅图像提取设定区域作为感兴趣区域;
1.3)从上述步骤1.2)中的感兴趣区域中提取图像的特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;
1.4)用上述步骤1.3)中提取到的特征与步骤1.1)中构建的训练图像深度标记集共同训练一个可以反映静脉血管深度与图像特征之间关系的机器学习回归模型;2)血管深度预测:
2.1)利用近红外光照射待测位置的皮肤,并用摄像机接受反射图像,采集到待测位置图像,并从待测位置图像提取与步骤1.2)中一致的设定区域作为感兴趣区域;
2.2)从上述步骤2.1)中的感兴趣区域中提取特征,提取特征的类型和方式与步骤1.3)相同;
2.3)将上述步骤2.2)中提取到的特征输入步骤1.4)中的机器学习回归模型中,对步骤2.1)中的待测图像感兴趣区域的血管深度进行预测,得到血管深度值;
2.4)对上述步骤2.3)中的血管深度值进行量化,并分N个血管档次值表示。
2.根据权利要求1所述的静脉血管深度识别方法,其特征在于:所述机器学习回归模型为随机森林回归模型;所述随机森林回归模型,参数设置如下:最大叶子节点数:50;树最大深度:10;最小分裂阈值:0.01;上述参数的选择是通过留一法验证最小误差调节而得到的,具体如下: e r r o r min 1 H Σ h = 1 H M S E ( p , g ) ]]>上述H是指训练样本个数,p指预测值,g指真实值,MSE是二阶均方误差,具体如下: M S E ( p , g ) = ( p - g ) 2 2 . ]]>
3.根据权利要求1所述的静脉血管深度识别方法,其特征在于:所述局部均值和局部方差是指垂直于感兴趣区域长边,图像中心处10条竖线上计算的均值和方差;所述步骤1.3)提取的特征共22维,其中,全局特征2维,局部特征20维。
4.根据权利要求1至3任一所述的静脉血管深度识别方法,其特征在于:在步骤2.2)之前,先判断待测位置是否是血管;判断步骤如下:a)提取步骤2.1)所述感兴趣区域的全局均值和局部均值;b)采用二级门限判断待测位置是否是血管,若是,则进行步骤2.2),若否,则直接进入步骤2.4),返回血管档次值0;所述二级门限判断方法为:第一级判断:判断上述步骤a)中的局部均值是否大于局部阈值;若大于局部阈值,则待测位置不是血管;否则,进入第二级判断;第二级判断:判断上述步骤a)中的全局均值是否大于全局阈值;若大于全局阈值,则待测位置不是血管;否则,待测位置是血管。
5.根据权利要求4所述的静脉血管深度识别方法,其特征在于:所述步骤
2.4)中量化的N个血管档次值,N=4,具体返回如下:(1)血管深度小于2mm时,量化为血管档次值1;(2)血管深度大于等于2mm且小于5mm时,量化为血管档次值2;(3)血管深度大于5mm时,量化为血管档次值3;(4)对于非血管处,量化为血管档次值0。
6.一种静脉血管深度识别系统,其特征在于:包括血管深度计算模块;所述血管深度计算模块包括模型训练模块和血管深度预测模块;其中所述模型训练模块包括图像采集模块,用于构建训练图像集和训练图像深度标记集;所述训练图像集的元素为人体不同位置、不同深度的静脉血管图像;所述训练图像深度标记集的元素为血管的深度数据值,代表从血管顶部到皮肤表层的厚度;感兴趣区域提取模块,用于从静脉血管图像中提取感兴趣区域;特征提取模块,用于从感兴趣区域提取模块中提取图像特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;训练模块,利用所述特征提取模块提取到的特征与图像采集模块构建的训练图像深度标记集共同训练一个机器学习回归模型;所述血管深度预测模块包括待测图像采集模块,用于采集待测位置的图像;待测图像感兴趣区域提取模块,从所述待测位置的图像中提取感兴趣区域;待测图像特征提取模块,用于从感兴趣区域提取模块中提取图像特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;预测模块,用于将所提取的特征放在所述训练模块中进行比较和预测,得出待测位置的血管深度数据值。
7.根据权利要求6所述的静脉血管深度识别系统,其特征在于:还包括待测位置判断模块,用于判断待测位置是否为血管,作为所述预测模块运行的前提条件。
8.根据权利要求6所述的静脉血管深度识别系统,其特征在于:所述血管深度预测模块还包括血管深度量化模块,用于将得出的待测位置的血管深度数据值变换为血管深度档次值。
9.一种静脉血管深度识别和提示系统,其特征在于:包括权利要求6所述的静脉血管深度识别系统以及提示模块;所述提示模块包括血管深度语音提示模块和血管深度投影提示模块;所述血管深度语音提示模块根据血管深度预测模块返回的血管深度,以语音方式提示待输液位置血管的深度;所述血管深度投影提示模块根据血管深度预测模块返回的血管深度,以投影方式提示待输液位置血管的深度。
10.根据权利要求9所述的一种静脉血管深度识别和提示系统,其特征在于:所述血管深度投影提示模块通过显示一个方块提示血管深度为2mm以内,即血管深度档次为“浅”;通过显示两个方块提示血管深度为2~5mm以内,即血管深度档次为“中”;通过显示三个方块提示血管深度为5mm以上,即血管深度档次为“深”;对于非血管处,不显示方块标记。技术领域
本发明涉及一种辅助医疗器械,尤其涉及一种静脉血管深度识别方法和提示系统。
背景技术
在临床医学上,常用静脉输液将药物输送到人体内,在静脉输液时,医务人员必须进行静脉穿刺。静脉穿刺过程一般为:首先用止血带绑扎使得静脉血管突起,然后医务人员凭借在肉眼视觉和皮肤上触摸来判断血管位置,以及血管在皮下的深度,最后根据经验选择合适的入针位置和入针角度。上述操作对医务人员具的业务技能、工作经验以及心理素质要求很高,尤其是面对小儿、肥胖、肤色较重等患者时,由于静脉血管的位置与深度不易判断,给医务人员实施静脉穿刺带来了巨大挑战,往往需要多次穿刺才能成功,也给患者带来不必要的痛苦,容易使得患者对静脉穿刺产生心理恐惧,还会使医患双方矛盾增加,严重时甚至引发患者家属殴打医务人员等恶性事件。为了解决上述由于血管位置和深度难以判断带来的问题,减轻医务人员实施静脉穿刺时的压力,人们开始研发各种医疗器械来辅助医务人员定位血管。投影式静脉血管显像仪的发明,减小了医务人员准确定位血管的困难,如下专利:“用于将表面下结构投影到对象表面上的系统和方法”(专利申请号:200880012041.5)、“一种红外静脉血管显像装置”(专利申请号:201220404518.8)、“一种双光源静脉血管显像装置”(专利申请号:201320403264.2)、“一种头戴式静脉血管显像装置”(专利申请号:201320403329.3)等,均为典型的投影式静脉血管显像仪,此类装置主要利用了静脉血液对近红外光的吸收率大于皮肤的吸收率这一原理,并通过对近红外影像处理使得血管位置凸显出来,并原位投影至皮肤上,辅助医务人员判定血管位置。然而,上述专利都只解决了如何判定血管位置的问题,还没有解决血管深度判断的问题,使得医务人员无法掌握准确的入针角度,影响穿刺成功率。因此,临床上需要既可以准确定位血管,又可以知道血管深度的仪器。
发明内容
为了满足临床应用的上述需求,在现有血管显像仪提示静脉血管位置的同时,本发明涉及了一种血管深度的识别方法和提示系统,其解决了背景技术中提到的血管深度判断的问题。本发明的基本原理是:根据不同深度的静脉血管所对应的红外图像的表观模型不同,通过机器视觉学习中的机器学习回归模型,建立图像与血管深度之间的映射关系,从而实现基于图像的血管深度自动识别技术基于上述基本原理,本发明的技术解决方案如下:一种静脉血管深度识别方法,其实现步骤包括:1)基于机器学习的回归模型训练:1.1)构建训练图像集和训练图像深度标记集:利用近红外光照射皮肤,并用摄像机接受反射图像,采集人体不同位置、不同深度的静脉血管图像,构建训练图像集;利用超声仪测量从血管顶部到皮肤表层的厚度,从而得到血管的深度数据值,构建相应的训练图像深度标记集;1.2)提取感兴趣区域:从上述步骤1.1)构建的训练图像集中的每幅图像提取设定区域作为感兴趣区域;1.3)从上述步骤1.2)中的感兴趣区域中提取图像的特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;1.4)用上述步骤1.3)中提取到的特征与步骤1.1)中构建的训练图像深度标记集共同训练一个可以反映静脉血管深度与图像特征之间关系的机器学习回归模型;2)血管深度预测:2.1)利用近红外光照射待测位置的皮肤,并用摄像机接受反射图像,采集到待测位置图像,并从待测位置图像提取与步骤1.2)中一致的设定区域作为感兴趣区域;2.2)从上述步骤2.1)中的感兴趣区域中提取特征,提取特征的类型和方式与步骤1.3)相同;2.3)将上述步骤2.2)中提取到的特征输入步骤1.4)中的机器学习回归模型中,对步骤2.1)中的待测图像感兴趣区域的血管深度进行预测,得到血管深度值;2.4)对上述步骤2.3)中的血管深度值进行量化,并分N个血管档次值表示。考虑到不同年龄、性别的人体同一血管位置的深度可能稍有差异,在上述步骤1.1)采集人体不同位置、不同深度的静脉血管图像时,我们也可以将待测人群细分为若干类别分别构建训练图像集和训练图像深度标记集,在对待测人体进行血管深度预测时选取相应的数据集进行对比和预测。上述步骤中所述的机器学习回归模型为随机森林回归模型,参数设置如下:最大叶子节点数:50;树最大深度:10;最小分裂阈值:0.01;上述参数的选择是通过留一法验证最小误差调节而得到的,具体如下: e r r o r min 1 H Σ h = 1 H M S E ( p , g ) ]]>上述H是指训练样本个数,p指预测值,g指真实值,MSE是二阶均方误差,具体如下: M S E ( p , g ) = ( p - g ) 2 2 . ]]>上述步骤中的局部均值和局部方差是指垂直于感兴趣区域长边,图像中心处10条竖线上计算的均值和方差。上述步骤1.3)提取的特征共22维,其中,全局特征2维,局部特征20维。考虑到医务人员在静脉注射时通常能够基于经验或者采用其他方式找准血管位置,因此以上方案仅涉及血管深度的预测。为谨慎起见,也可以采用以下本发明提供的血管位置判断方法,在步骤2.2)之前,先判断待测位置是否是血管;判断步骤如下:a)提取步骤2.1)所述感兴趣区域的全局均值和局部均值;b)采用二级门限判断待测位置是否是血管,若是,则进行步骤2.2),若否,则直接进入步骤2.4)并提示错误;判断方法为:第一级判断:判断上述步骤a)中的局部均值是否大于局部阈值;若大于局部阈值,则待测位置不是血管;否则,进入第二级判断;第二级判断:判断上述步骤a)中的全局均值是否大于全局阈值;若大于全局阈值,则待测位置不是血管;否则,待测位置是血管。上述步骤2.4)中量化的N个血管档次值,N=4,具体返回如下:(1)血管深度小于2mm时,量化为血管档次值1;(2)血管深度大于等于2mm且小于5mm时,量化为血管档次值2;(3)血管深度大于5mm时,量化为血管档次值3;(4)对于非血管处,量化为血管档次值0。考虑到实际中图像中心处往往是最能表现图像内容和特征的区域,为进一步优化,上述步骤1.2)中的设定区域可以是图像中心处180像素*90像素的区域。基于上述血管深度识别方法,本发明还提供一种静脉血管深度识别系统,其特征在于:包括血管深度计算模块;所述血管深度计算模块包括模型训练模块和血管深度预测模块;其中上述模型训练模块包括图像采集模块,用于构建训练图像集和训练图像深度标记集;所述训练图像集的元素为人体不同位置、不同深度的静脉血管图像;所述训练图像深度标记集的元素为血管的深度数据值,代表从血管顶部到皮肤表层的厚度;感兴趣区域提取模块,用于从静脉血管图像中提取感兴趣区域;特征提取模块,用于从感兴趣区域提取模块中提取图像特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;训练模块,利用所述特征提取模块提取到的特征与图像采集模块构建的训练图像深度标记集共同训练一个机器学习回归模型;上述血管深度预测模块包括待测图像采集模块,用于采集待测位置的图像;待测图像感兴趣区域提取模块,从所述待测位置的图像中提取感兴趣区域;待测图像特征提取模块,用于从感兴趣区域提取模块中提取图像特征;所述特征包括图像的全局均值、全局方差、局部均值和局部方差;预测模块,用于将所提取的特征放在所述训练模块中进行比较和预测,得出待测位置的血管深度数据值。上述静脉血管深度识别系统还包括待测位置判断模块,用于判断待测位置是否为血管,作为所述预测模块运行的前提条件。上述血管深度预测模块还包括血管深度量化模块,用于将得出的待测位置的血管深度数据值变换为血管深度档次值。本发明还提供一种静脉血管深度识别和提示系统,其特征在于:包括上述静脉血管深度识别系统以及提示模块;所述提示模块包括血管深度语音提示模块和血管深度投影提示模块;所述血管深度语音提示模块根据血管深度预测模块返回的血管深度,以语音方式提示待输液位置血管的深度;所述血管深度投影提示模块根据血管深度预测模块返回的血管深度,以投影方式提示待输液位置血管的深度。上述血管深度投影提示模块通过显示一个方块提示血管深度为2mm以内,即血管深度档次为“浅”;通过显示两个方块提示血管深度为2~5mm以内,即血管深度档次为“中”;通过显示三个方块提示血管深度为5mm以上,即血管深度档次为“深”;对于非血管处,不显示方块标记。本发明的优点是:本发明既可以判断血管的位置,还能判断并提示血管的深度,使得医务人员可以掌握准确的入针角度,提高穿刺成功率。
附图说明
图1是根据本发明的优选实施例的基于机器学习的回归模型训练过程和血管深度预测过程;图2是根据本发明的优选实施例的感兴趣区域提取大小的示意图;图3是根据本发明的优选实施例的血管待测位置指示示意图;图4a、4b、4c分别是根据本发明的优选实施例的血管深度投影提示提示示意图;图4d是根据本发明的优选实施例的在非血管位置的提示示意图;图5是根据本发明的优选实施例的一种静脉血管深度识别方法和提示系统的工作流程图。
具体实施方式
实施例:图1是根据本发明的优选实施例的血管深度识别方法,包括基于机器学习回归模型训练过程和血管深度预测过程。基于机器学习回归模型训练过程包括步骤:构建训练图像集101、感兴趣区域提取102、特征提取103、构建训练图像深度标记集104、随机森林模型训练105。所述基于机器学习回归模型训练过程具体步骤如下:首先构建训练图像集与训练图像深度标记集:用近红外光照射30位志愿者共210处不同位置、不同深度的静脉血管图像,并用摄像机接受反射图像,构成训练图像集;相应的,通过超声仪测量上述210处静脉血管顶部到皮肤表层之间的厚度,构成训练图像深度标记集。第二步:从训练图像集中的每幅图像中提取感兴趣的区域;如图2所示,感兴趣的区域202是从原图201的中心处提取的大小为180*90像素*像素的区域,提取感兴趣区域202的C++源代码下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>第三步:从感兴趣区域中提取特征,所述特征是感兴趣区域的全局均值、全局方差,局部均值以及局部方差;所述局部均值和局部方差是指垂直于感兴趣区域长边,位于中心处10条竖线上计算的均值和方差;所提取的特征大小共22维,其中全局特征2维,局部特征20维,提取特征的C++源代码如下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="534"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="469"/>图像特征的提取方式是多样的,本发明并不限于任何特定的图像特征提取方法。第四步:将提取到的特征与对应的深度标记集共同训练一个机器学习回归模型,鉴于随机森林回归模型不易过拟合,模型线性可控的优点,这里本发明选用随机森林回归模型进行训练,训练过程的C++源代码如下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="540"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>上述训练过程的源代码是基于OpenCV的机器学习库的,随机森林回归模型的参数设置如下:最大叶子节点数:50;树最大深度:10;最小分裂阈值:0.01等;这些参数的选择是通过留一法验证最小误差调节而得到的,具体如下: e r r o r min 1 H Σ h = 1 H M S E ( p , g ) ]]>上述H是指训练样本个数,p指预测值,g指真实值,MSE是二阶均方误差,具体如下: M S E ( p , g ) = ( p - g ) 2 2 ]]>最终,210个样本的留一法交叉验证后均方误差为0.19mm。最后,训练得到随机森林回归模型,通过XML文件格式保存在闪存(flash)空间中,模型命名为“myrtree.xml”。需要注意的是,本发明并不限于任何特定的模型训练方法。血管深度预测过程包括步骤:采集待测图像106、感兴趣区域提取107、是否为血管的判断108、特征提取109、血管深度值预测110、血管深度量化档次值111。血管深度预测过程的具体步骤如下:首先用近红外光照射待测位置的静脉血管图像,并用摄像机接受反射图像,得到待测图像;然后从待测图像的中心提取感兴趣区域,此处提取感兴趣区域的方法与上述模型训练过程中感兴趣区域的提取方法相同。第二步:提取上一步中所述感兴趣区域的局部均值和全局均值。第三步:用二级门限对待测位置是否是血管进行判断:第一级判断是判断感兴趣区域的局部均值是否大于局部阈值,若大于,则待测位置不是血管;否则,进入第二级判断;第二级判断是判断感兴趣区域的全局均值是否大于全局阈值,若大于,则待测位置不是血管,血管深度档次值返回0,本发明用不给任何语音和投影提示的方式表示待测位置不是血管;否则,待测位置是血管,进入第四步。上述判断过程的C++代码如下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="446"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="29"/>第四步:根据第三步的判断结果,若待测位置是血管,则从待测位置感兴趣区域中提取特征,提取特征的源代码如下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="485"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="324"/>第五步:用上述基于训练过程得到的随机森林回归模型对待测试图像感兴趣区域的血管深度进行预测,得到血管深度值,血管深度预测过程的C++源代码如下:ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="549"/>ntent="drawing" img-format="tif" inline="no" orientation="portrait" wi="700"/>最后一步:对上述第五步得到的血管深度值进行量化,返回血管深度档次值。本实施例将血管深度值量化为4个档次:小于2mm的深度值被量化为血管深度档次1;大于等于2mm且小于5mm的深度值被量化为血管档次2;大于等于5mm的深度值被量化血管档次3;对于非血管处,血管深度值量化为血管档次值0。需要注意的是,量化的档次数的多少是任意的,因此,本发明并不限于任何特定档次值的量化方法。下面再结合附图3和附图5对本发明的工作流程进一步介绍:步骤501:开启设备,医务人员将装置投影出的图像301对准患者待穿刺的部位;步骤502:医务人员微调设备,结合设备语音提示和投影提示,将设备投影的待测位置标记302的中心对准待输液位置血管的中心;步骤503、504:医务人员可以通过观察投影中血管深度提示,或者听血管深度语音提示模块中提示的该处血管深度值;步骤505:医务人员根据血管深度提示模块中的该处血管深度档次,选择合适的入针角度,实施静脉穿刺过程。在本实施例中,上述步骤502中所述的待测位置标记302是一个长边为100像素、短边为32像素、边宽为8像素的十字光标;十字光标的长边与待测血管的走向一致,短边两端距待测血管的两边缘距离相等;所述十字光标的中心指示了待测血管的位置。待测位置提示标记302也可以是任意形状、任意大小、任意位置、任意颜色的,因此,本发明并不限于任何特定的待测位置提示标记。在本实施例中,语音提示模块以语音“浅”、“中”、“深”提示血管深度档次;对于非血管处,不做任何语音提示。语音提示模块的提示语言可以是任意医务人员可理解的语音表达,语言种类也可以是任意语种,对于非血管的提示也可以是任意的,因此,本发明并不限于任何特定语言提示。在本实施例中,血管深度投影提示模块以绿色小方块的投影形式提示血管深度档次值:用1个绿色小方块401提示血管深度为2mm以内(如图4a所示);用2个绿色小方块402提示血管深度为2mm~5mm之间(如图4b所示);用3个绿色小方块403提示血管深度为5mm以上(如图4c所示);对于非血管处,则不显示任何图像提示标记(如图4d所示)。血管深度投影提示标记可以是任意形状、任意大小、任意位置、任意颜色的,提示方式还可以通过将血管深度计算模块得到的数值通过在刻度标尺上滑动等方式显示,因此,本发明并不限于任何特定的投影提示方式。